Инференс и Сэмплирование

Как нейросеть выбирает следующее слово (токен)

1. Текущий контекст (Промт)

Привет, как

⬇️ Миллиарды замороженных весов делают вычисления...

2. Логиты (Оценки) → 3. Softmax (Вероятности)

Нейросеть оценивает все слова в словаре. Softmax превращает эти сырые оценки (логиты) в проценты, сумма которых равна 100%.

Токен-кандидат

Логит (Оценка)

Softmax (Вероятность)

⬇️ Бросок многогранной кости (Сэмплирование)

4. Сэмплирование (Weighted Random)

Мы не всегда берем слово №1. Мы бросаем "кубик" (красный ползунок). Чем больше процент, тем шире сектор слова на рулетке.